컨텍스트 저하

AI를 사용할 때 자연스럽게 드는 본능은 모든 것을 제공하는 것입니다. 문서 전체를 붙여넣고, 모든 메시지를 포함하고, 찾을 수 있는 모든 컨텍스트를 추가하는 것이죠. 정보가 많을수록 더 좋은 답변이 나오지 않을까요?

항상 그런 것은 아닙니다. 시험 전날 벼락치기를 해본 사람이라면 직관적으로 아는 현상이 있습니다. 한 번에 머릿속에 담을 수 있는 양에는 한계가 있다는 것입니다. 그리고 중간에 있는 것들이 가장 먼저 사라지는 경향이 있습니다.

이것이 AI 모델에 어떤 영향을 미치는지 이야기하기 전에, 먼저 여러분에게 어떤 영향을 미치는지 살펴보겠습니다.

기억력 테스트

U자형 곡선

방금 경험하신 것에는 이름이 있습니다. 바로 계열 위치 효과입니다. 심리학자들은 이를 100년 이상 연구해 왔습니다. 목록의 앞에 있는 항목은 초두 효과(더 많이 반복 학습됨)의 혜택을 받고, 끝에 있는 항목은 최신 효과(아직 기억에 생생함)의 혜택을 받습니다. 중간에 있는 것들은 어느 쪽 혜택도 받지 못합니다.

흥미로운 점은 대형 언어 모델도 동일한 패턴을 보인다는 것입니다. 2023년 스탠퍼드 연구진은 긴 컨텍스트 창 내에서 핵심 사실을 다양한 위치에 배치했을 때 어떤 일이 일어나는지 테스트했습니다. 정확도는 해당 사실이 맨 앞이나 맨 끝에 나타날 때 가장 높았으며, 중간에 묻혀 있을 때는 30% 이상 떨어졌습니다.

이것은 단순한 버그가 아닙니다. 구조적인 특성입니다. 트랜스포머의 어텐션 패턴은 자연스럽게 컨텍스트 창의 양 끝에 더 많은 가중치를 부여합니다.

프롬프팅에 주는 시사점

20페이지 분량의 문서를 프롬프트에 붙여넣고 11페이지의 내용에 대해 질문하면, 모델은 1페이지나 20페이지의 내용보다 그것을 놓칠 가능성이 더 높습니다. 이는 컨텍스트를 구성하는 방식에 실질적인 영향을 미칩니다.

실용적인 조언은 간단합니다. 가장 중요한 지시사항을 컨텍스트의 앞과 끝에 배치하세요. 반드시 따라야 할 제약 조건이 있다면, 시스템 프롬프트 초반에 명시하고 끝 부분에 다시 한 번 언급하세요. 모델이 그 사이의 모든 내용에 동등한 가중치를 부여할 것이라고 기대하지 마세요.

이것은 시작점일 뿐, 한계가 아닙니다. 숙련될수록 모델이 중요한 것을 안정적으로 이해할 수 있도록 컨텍스트를 구성하는 더욱 정교한 방법을 발견하게 될 것입니다. 창 내에서 정보의 위치를 활용하고, 무엇을 포함하고 무엇을 제거할지 결정하고, 핵심 지시사항이 '사각지대'로 밀려나지 않도록 유지하는 방법을 익히게 됩니다. 목표는 항상 같습니다. Claude가 여러분이 실제로 필요로 하는 것을 명확히 파악할 수 있게 만드는 것입니다.

더 큰 그림

컨텍스트 저하는 "그냥 더 많은 컨텍스트를 제공하면 된다"는 말이 항상 정답이 아닌 이유입니다. 컨텍스트를 추가할 때마다 다른 내용들이 중간, 즉 어텐션 사각지대로 밀려납니다. 이것이 컨텍스트 엔지니어링의 핵심적인 긴장감입니다. 무엇을 포함할지만의 문제가 아니라, 어디에 배치하고 무엇을 제외할지의 문제이기도 합니다.

여러분의 기억력 테스트가 이미 이것을 알려줬습니다. 중간에 있던 단어들은 사라졌습니다. 긴 대화마다, 붙여넣은 문서마다, 가득 채워진 컨텍스트 창마다 같은 일이 벌어집니다. 해결책은 더 많이가 아니라, 더 현명하게입니다.